Năm 960, nước Liêu và Bắc Hán hợp quân công Tống, đánh vào hai châu Trấn, Định. Triều đình Hậu Chu cử Triệu Khuông Dận mang quân đánh dẹp. Khuông Dận dẫn quân đi được 40 dặm, đến Trần Kiều thì có người nhìn thấy 2 mặt trời đánh nhau. Mọi người cho rằng đây là việc chuyển giao Thiên mệnh, khí số Hậu Chu đã hết, Thiên mệnh ứng trên người Triệu Khuông Dận. Quân sĩ thấy thế ai cũng reo lên, các tướng lĩnh thì xin Triệu Khuông Dẫn nắm lấy hết binh quyền mà tự lập. Khuông Nghĩa cùng mưu sĩ Triệu Phổ liền lấy hoàng bào khoác lên mình ông, sử gọi là hoàng bào gia thân. Triệu Khuông Dận lập tức dẫn quân về kinh đô Biện Lương và kéo thẳng vào thành, triều thần Hậu Chu trước tình thế đó, buộc phải công nhận Triệu Khuông Dẫn là hoàng đế. Hậu Chu diệt vong, Bắc Tống được thành lập[7]. Triệu Khuông Nghĩa được phong làm Điện tiền đô ngu hậu, phòng ngự sứ Mục châu[4]. Tuy nhiên, sử gia Thiệu Bá Ôn trong Văn kiến lục từng dẫn lại Kiến Văn di sự của Vương Vũ Xứng, cho rằng khi binh biến xảy ra, Khuông Nghĩa đang ở cùng mẹ là Đỗ thái hậu tại Biện Kinh, không hề đi theo anh mình; việc ghi chép trong sử sách có bàn tay của Tống Thái Tông động chạm vào, hòng tìm cách hợp thức hóa việc soán ngôi của mình. Sau đó ông đổi tên thành Triệu Quang Nghĩa vì kiêng húy chữ "Khuông" của vua anh[8].

Năm 961, mẹ Thái Tổ (và Quang Nghĩa) là Đỗ thái hậu bị bệnh sắp mất, có trăn trối lại rằng Hậu Chu mất nước là do ấu chúa lên ngôi, lòng người không phục; nay con Thái Tổ còn nhỏ tuổi, nên phải truyền ngôi cho Quang Nghĩa, Quang Nghĩa lại truyền ngôi cho em là Quang Mĩ rồi mới tới con Thái Tổ, để tránh giẫm lên vết xe đổ lúc trước; Thái Tổ bằng lòng, đem tờ giao ước để trong cái hộp vàng, đó gọi là kim quỹ chi minh[9]. Sau này, năm 1940, các học giả Đặng Quảng Minh, Trương Ấm Lân cho rằng kim quỹ chi minh là hư cấu; những năm gần đây các học giả như Thi Tú Nga, Vương Dục Tế nghiên cứu về sự việc này và cho rằng đấy là do chính Quang Nghĩa ngụy tạo ra câu chuyện.

Thái Tổ thân chinh Trạch Lộ, Quang Nghĩa được lệnh ở lại kinh thành và nhận chức tiết độ sứ Thái Ninh. Năm 961, Thái Tổ dẫn quân đánh dẹp tướng nổi dậy Lý Trọng Tiến, Quang Nghĩa được phong Đại Nội đô bộ thự, Bình chương sự, Khai phong doãn; sau gia kiêm Trung thư lệnh[4].

Tống Thái Tổ tiếp tục công cuộc thống nhất Trung Quốc. Năm 962, bình định Kinh Nam, Hồ Nam. Năm 964, đánh Hậu Thục, bắt được Thục đế Mạnh Sưởng. Quang Nghĩa vốn là cao thủ về độc dược. Bấy giờ Mạnh Sưởng có người thiếp yêu là Hoa Nhị phu nhân, rất được sủng ái, bản thân Quang Nghĩa thèm thuồng đã lâu; liền nghĩ cách mời Mạnh Sưởng đến chỗ mình dự tiệc, rồi đánh thuốc độc giết đi (965); tuy nhiên Hoa Nhị phu nhân lại được nạp vào hậu cung của Thái Tổ. Quang Nghĩa ngầm ngầm củng cố thế lực, tập hợp bọn văn nhân gồm 66 người như Tống Kỳ, Thạch Hy Tải, Đậu Xứng... Nghi trượng Nam nha mỗi khi ra ngoài rực rỡ như tranh, người kinh thành đều tấm tắc khen ngợi, nói "như một bức thêu đường phố trên trời". Năm 976, nhân buổi đi săn, Quang Nghĩa giả say mà bắn chết Hoa Nhị phu nhân.

Năm 971, Tống diệt Nam Hán; năm 976 diệt Nam Đường, về căn bản đã thống nhất Trung Quốc. Năm 973, Thái Tổ chinh phạt Thái Nguyên, cử Quang Nghĩa làm lưu thủ Đông Kinh, phong Tấn vương, địa vị trên tể tướng[4]. Bấy giờ tể tướng Triệu Phổ một mình nắm quyền, đoán rất rõ âm mưu của Quang Nghĩa, nên tìm cách công kích, hai người âm thầm tranh đấu với nhau hơn 10 năm, đến đây Triệu Phổ bị bãi tướng, quyền lực của Quang Nghĩa tăng lên đáng kể. Đời Hậu Chu, Thế Tông Sài Vinh cũng từng làm Tấn vương Khai Phong doãn, vì thế mọi người trong ngoài đều nghĩ rằng Quang Nghĩa sẽ là người kế vị.